תורת ההסתברות יובל קפלן סיכום הרצאות פרופ יורי קיפר בקורס "תורת ההסתברות " (80420) באוניברסיטה העברית, 8 2007.
תוכן מחברת זו הוקלד ונערך על-ידי יובל קפלן. אין המרצה אחראי לכל טעות שנפלה בו. סודר באמצעות L A TEX 2ε ב- 3 באפריל 2008. עדכונים ותיקונים יופיעו ב-/ http://www.limsoup.et. לתגובות, לתיקונים ובכל עניין אחר, אנא כתבו ל- yuvak@gmx.et. סיכומים נוספים בסדרה: אלגברה לינארית חשבון אינפיניטסימלי 7 2006 אלגברה לינארית 2 חשבון אינפיניטסימלי 2 תורת הקבוצות תורת ההסתברות מבנים אלגבריים 8 2007
תוכן עניינים 5 תורת ההסתברות.............................. 5.......................... מרחבי הסתברות. 6 הסתברות מותנית...........................2 6..................... נוסחת ההסתברות השלמה.3 6............................ נוסחת בייס.4 8.............................. משתנים מקריים 2 8............................... הגדרה 2. 9.............................. אי-תלות 2.2 0......................... התפלגויות בדידות 2.3 2......................... התפלגויות רציפות 2.4 3 וקטורים מקריים.......................... 2.5 4 פרדוקס. Bertrad........................ 2.6 4 תוחלת, שונות ותיאום............................ 3 4 תוחלת............................... 3. 7............................... שונות 3.2 7............................... תיאום 3.3 8................................ אי-שוויונים 4 9......................... התכנסות משתנים מקריים 5 2........................... חוק המספרים הגדולים 6 2........................... בצורה החלשה 6. 22....................... שימושים סטטיסטיים 6.2 25........................... בצורה החזקה 6.3 28.............................. פונקציות יוצרות 7 30 תהליכי הסתעפות.......................... 7. 3 חזרות של מהלך אקראי פשוט.................... 7.2 32 שרשראות מרקוב.............................. 8 32.......................... מטריצות מרקוב 8. 33 התנהגות לאורך זמן......................... 8.2 36......................... פונקציות יוצרות מומנטים 9 36 תכונות............................... 9. 37 פונקציות יוצרות מומנטים של משתנים מוכרים............ 9.2 38............................ משפט הגבול המרכזי 0 39............................... תהליך פואסון 3
תורת ההסתברות תורת ההסתברות. מרחבי הסתברות σ -אלגברה הגדרה. σ -אלגברה על Ω היא קבוצה F של תת-קבוצות של Ω המקיימת (א) Ω; F (ב) אם 2..2008 i= A i F או אינסופית), (סופית A, A 2,... F לכל סדרה (ג) ;Ω \ A F אז A F (או עד ). מהתכונות נובע כי F ו- F i A i. טענה : לכל משפחה } α {F של σ -אלגברות, α F α גם σ -אלגברה. הגדרה. ה- σ -אלגברה המיוצרת על-ידי משפחה A, או ה- σ -אלגברה המינימלית המכילה את A, של תתי-קבוצות של Ω, היא { σ -אלג המכילות את A}. 2 דוגמה. σ -אלגברת בורל היא ה- σ -אלגברה המינימלית שמכילה את כל הקבוצות הפתוחות. (מוגדרת בכל מרחב טופולוגי.) הגדרה. הסתברות P (או מידת הסתברות) היא פונקציה אי-שלילית על σ -אלגברה F על 3 Ω כך מידת הסתברות ש- = (Ω) P ומתקיימת σ -אדיטיביות אם A,... F זרות, כלומר = j A i A לכל.P ( i= A i) = i= P (A i) אז,i j הגדרה. מרחב הסתברות הוא שלשה ) P,Ω),F כאשר Ω היא מרחב מדגם קבוצה של נקודות ω (מאורעות אלמנטריים), F היא σ -אלגברה של תתי-קבוצות מ- Ω (מאורעות) ו- P היא הסתברות. מרחב הסתברות דוגמה. Leb),[,B,0]) כאשר σ -אלגברת B בורל על [,0]; להגדרת,Leb אנו מסתמכים על תוצאה מתורת המידה: קיימת הסתברות יחידה Leb על B כך ש- a.leb[a, [b = b 4.({x} = (x, x + מתקיים = 0 Leb({x}) )) דוגמה. }} {0, i F ;Ω = {(α 0, α,...) α היא ה- σ -אלגברה המינימלית המכילה C a0,...,a לכל, כאשר מגדירים את כל הקבוצות הגליליות C a0,...,a = {α = (α 0, α,...) i = 0,,..., α i = a i } תוצאה מתורת המידה: קיימת ויחידה הסתברות P המוגדרת על F כך שמתקיים 5.p 0 + p =,p 0, p לכל זוג 0 P (C a0,...,a ) = i=0 p a i = 2 p, 0 = p אם נסתכל על הסדרות כעל ייצוג בינארי של מספרים בקטע בפרט, עבור [,0], 6 P מתלכדת עם מידת לבג. נקראת גם σ -שדה. 2 ניתן להגדיר כך כי לפחות σ -אלגברה אחת כזו קיימת זו שמכילה את כל תת-הקבוצות של Ω. Ω. לא בהכרח מוגדרת על כל תת-הקבוצות של P 3 4 ניתן לדבר על הסתברות קטעים סגורים שכן ) + b [a, b] = T (a, ולכן ב- B. 5 כל אחד מהגורמים במכפלה הוא p 0 או,p שכן = 0 i a או = i.a 6 אמנם אין התאמה חד-חד ערכית למשל,... 0.00 =... 0.000 אבל יש רק מספר בן-מניה של מספרים כאלה (Q), אז אין בעיה. 5
.2 הסתברות מותנית תורת ההסתברות.2 הסתברות מותנית P (A B) = P (A B) P (B) הסתברות מותנית במרחב הסתברות ) P,(Ω, F, עבור B F כך ש- 0 > (B),P נגדיר ההסתברות של A בהינתן B. 7 אם נגדיר (A B) P B (A) = P ו-{ F,F B = {C F C B} = {C B C נקבל ש-( (B, F B, P B מרחב הסתברות. הגדרה. מאורעות B,A בלתי-תלויים אם = 0 (B) P או אם > 0 (B) P ו-( A ),P (A B) = P כלומר (B).P (A B) = P (A)P נכליל את ההגדרה:.P (A... A ) = אי-תלות הגדרה. מאורעות A,..., A הם בלתי-תלויים אם i) i= P (A (אינסוף) מאורעות..., 2 A, A הם בלתי-תלויים אם כל תת-משפחה סופית היא בלתי-תלויה:.(i j i k ) P (A i... A i ) = j= P (A i j ) דוגמה (אי-תלות בזוגות חלשה ממש מאי-תלות). ניקח טטרהדר ונצבע כל אחת משלוש מפאותיו בצבע בודד מבין {B,R},W ואת הבסיס בכל שלושת הצבעים:,P (RW ) = P (RB) = P (W B) = 4 ו- P (R) = P (W ) = P (B) = 2 בהטלה הוגנת, = 4 B),P (RW ולכן המאורעות אינם זרים. ולכן המאורעות זרים בזוגות; אבל.3 נוסחת ההסתברות השלמה. 8 אז נוסחת ההסתברות השלמה A,..., A, B F כאשר A i זרים, > 0 ) i P (A ו- Ω i= A i = P (B) = P (B A i ) = P (B A i )P (A i ) i= P (A i B) = P (B A i) P (B) = i= P (B A i )P (A i ) j= P (B A j)p (A j ).4 נוסחת בייס נוסחת בייס בתנאים כדלעיל ו- 0 > (B) P: 7 נעיר שלכל A B מתקיים (B),P (A) P כי A) B = A (B \ ולכן A) P (B) = P (A) + P (B \ כאשר 0 A).P (B \ 8 למעשה, מספיק לדרוש שמכיל את B. 6
תורת ההסתברות.4 נוסחת בייס דוגמה. נתונים בתי חרושת שמייצרים נורות. 9 אנחנו יודעים כמה נורות כל מפעל מייצר ומה ההסתברות לכך שנורה שמייצר מפעל מסויים תהיה פגומה, ואנו רוצים לדעת מאיזה בית חרושת הגיעה נורה פגומה שקיבלנו (ללא כתובת עליה). במונחים מתמטיים: נסמן A i המאורע שהנורה יוצרה בבית החרושת מספר B i, המאורע שהנורה פגומה. ידועים לנו ) i P (B A ו-( P A) i ואנו מעוניינים ב-( B P. A) i לשם כך, נוכל להיעזר בנוסחת בייס, שבעצם מאפשרת להפוך את ההתניה. דוגמה (בעיית ההתרוששות - rui.(gambler s מהמר יכול לקבל בכל משחק ש"ח בהסתברות p ולהפסיד בהסתברות q. = p (למעשה, מדובר בהילוך מקרי פשוט, כאשר עושרו של המהמר מיוצג על-ידי מיקומו על הישר.) המהמר מגיע עם סכום התחלתי k. כאשר מגיע ל- 0, יוצא מהמשחק בבושת פנים; כאשר מגיע ל- N, ישר מפסיק לשחק והולך לחנות של הקאדילק. אנו מעוניינים לחשב את ההסתברות להתרוששות בהינתן סכום התחלתי k. נסמנה p. k נסמן ב- B את המאורע בו המהמר התרושש וב- X את מצב המהלך המקרי בזמן. p k = P (B X 0 = k) = P (B X 0 = k, X = k + )P (X = k + X 0 = k)+ +P (B X 0 = k, X = k )P (X = k X 0 = k) = p k+ p + p k q במעבר האחרון הסתמכנו על כך שמתקיימת כאן תכונת מרקוב: אין משמעות לידיעת העבר תכונת מרקוב.p N = 0,p 0 נעיר כי תנאי השפה הם =.(X = k ±) כאשר יודעים מצב נוכחי (X 0 = k) אנו יודעים כי p) p k = p k p + p k ( (פירוק הסכום) ו-( p,p k = p k+ p + p k ( ולפיכך, בהנחת,0 p (מקרים אלו טריוויאליים), נקבל על-ידי הצבה והעברת אגפים 0 = (p k+ p k )p + (p k p k )( p) p k+ p k = p p (p k p k ).p k+ p k = ( p p ועל-ידי נסיגה, נקבל ) )k (p 2,p ניעזר בנוסחת סכום 24..2008 על-מנת להתיר את נוסחת הנסיגה, נפריד למקרים. עבור סדרה הנדסית. 0 k p k p 0 = (p i+ p i ) = (p ) ( p p )k ( p p ) i=0.p k = + (p ) ( p p )k כלומר ( p p ) נותר למצוא את p. לשם כך, נציב k: = N 9 למעשה, בתי חרושת כאלו די נפוצים; בארץ מייבאים נורות מסין, שמתפוצצות אחרי כמה ימים, אבל במזרח אירופה 2 והנוסחה איננה מוגדרת. 2 7 יש גם מפעלים כאלה. 0 עבור = 2,p המנה היא =
2 משתנים מקריים p k = ( p p ) ( p p )N = 0 = + (p ) ( p p )N ( p p ) p = ( p p ) ( p p )N ( p p )N ( p p )k ( p p )N ובסך-הכול, עבור = 2,p נקבל ) k ( p)(p k p k ) = p(p k+ p ולכן מתקיים כי = k p k+ p k p k p ואז.p k+ p k = p p 0 = p ושוב, k p k = (p i+ p i ) = k(p ) i= נציב k = N ונקבל ) + N(p = 0 ולכן,p = N ולכן כאשר = 2,p p k = + k(p ) = k N 2 משתנים מקריים 2. הגדרה הגדרה. יהי ) P,Ω),F מרחב הסתברות. משתנה מקרי X זאת העתקה X : Ω R כך שלכל.{ω X(ω) a} F,a R משתנה מקרי טענה :2 לכל B קבוצת בורל מתקיים.X (B) = {ω X(ω) B} F 2 (פונקציה המקיימת תכונה זו נקראת פונקציה מדידה.) פונקציית התפלגות הגדרה. פונקציית ההתפלגות של משתנה מקרי X היא F X (x) = P {X x} = P {ω X(ω) x} תכונות :F X 3. (x) F X מונוטונית עולה; lim x F X (x) =.2. הוכחה. נובע מ- σ -אדיטיביות: {ω X(ω) } = Ω lim x F X (x) = 0.3. הוכחה. = } {ω X(ω).4 X F רציפה מימין. R. בורל כאן, על תיקרא קבוצת בורל אם היא איבר ב- σ -אלגברת B 2 בהגדרה דרשנו זאת עבור קבוצות מהצורה [a B, =, ) שהן בפרט קבוצות בורל. 3 בהוכחות אנו מסתמכים על כך שאם,A A כלומר A + A ו- A, S A = או A A מאורעות, אז (A) lim P (A ) = P נובע מ- σ -אדיטיביות בדוק! 8
2.2 אי-תלות 2 משתנים מקריים lim y x + F X (y) = lim F X (x + ) = P { = {X x + }} = P {X x} = F X (x) הוכחה. הגדרה. כל פונקציה ממשית F שמקיימת את התכונות לעיל נקראת פונקציית התפלגות (בלי התייחסות למשתנה מקרי מסויים). משפט 3: לכל פונקציית התפלגות F קיים מרחב הסתברות ) P,Ω),F ומשתנה מקרי X כך ש- F היא פונקציית ההתפלגות של X. הוכחה. נובע משתי טענות: למה.3: תהי F פונקציית התפלגות. אזי קיימת הסתברות P מוגדרת על σ -אלגברת בורל על R כך ש-( a ).P ((a, b]) = F (b) F הוכחה. בתורת המידה. למה 2.3: קיים משתנה מקרי על ) P,R),B 4 כך ש- F היא פונקציית ההתפלגות שלו. הוכחה. נגדיר.X(x) = x אז (b) P {x X(x) b} = P (, b] = F (שהרי.(F ( ) = 0 2.2 אי-תלות הגדרה. X,..., X משתנים מקריים נקראים בלתי-תלויים אם לכל a,..., a מתקיים.P {X a,..., X a } = i= P {X i a i } 28..2008 אי-תלות טענה :4 X,..., X בלתי-תלויים אם"ם לכל אוסף קבוצות בורל B,..., B R מתקיים.P {X B,..., X B } = (כתרגיל.) i= P {X i B i } הגדרה. נאמר שסדרה של אינסוף משתנים מקריים..., 2 X, X הם בלתי-תלויים אם הם בלתי-תלויים לכל סדרה סופית. אי-תלות של סדרת משתנים מקריים X,..., X חזקה ממש מאי-תלות בזוגות. 5 דוגמה. נבנה משתנים מקריים בלתי-תלויים: יהיו X ו- Y משתנים מקריים עם התפלגות נתונה על ) P.(Ω, F, נסתכל על Ω Ω כעל מרחב המדגם ונגדיר ) X(ω, ω 2 ) = X(ω, ) 2.Ỹ (ω, ω 2 ) = Y (ω נגדיר ) 2.(A, A 2 F) P (A A 2 ) = P (A )P (A 6 נגדיר.A, A 2 F עבור A המינימלית המכילה את כל המכפלות A 2 להיות ה- σ -אלגברה F F 4 כאן σ -אלגברת B בורל, P מהלמה הקודמת. 5 אפשר להראות זאת על-ידי דוגמת הטטרהדר מקודם, עם הסבה למשתנים מקריים המתפלגים לפי ברנולי (ראה הגדרה להלן). 6 על-פי תוצאה מתורת המידה, קיימת הסתברות P המוגדרת על F F המקיימת את התנאי לעיל, והיא יחידה. 9
2.3 התפלגויות בדידות 2 משתנים מקריים X ו- Ỹ בלתי-תלויים: P { X a, Ỹ a 2} = P {{ω X(ω ) a } {ω 2 Y (ω 2 ) a 2 }} = P {X a }P {Y a 2 } = P { X a } P {Ỹ a 2} g : R פונקציה רציפה 7 ויהיו X,..., X משתנים מקריים. אזי משפט :5 תהי R ) g(x,..., X הוא משתנה מקרי. הוכחה. יהי ) P (Ω, F, מרחב ההסתברות. צריך לבדוק ש- F,{g(X,..., X ) B} כאשר B קבוצה פתוחה. 8 תהי B קבוצה פתוחה. צריך להוכיח {ω g(x (ω),..., X (ω)) B} = {ω (X (ω),..., X (ω)) g B} F.{(X,..., X ) G} F,G קבוצה פתוחה, לכן מספיק להוכיח שלכל קבוצה פתוחה g B נדבר קודם על ) G = A = (a, b )... (a, b קופסה: {(X,..., X ) A} = {X i (a i, b i ) i =,..., } = {X i (a i, b i )} F על-פי תוצאה מתורת המידה, כל קבוצה פתוחה היא איחוד בן-מניה של קופסאות. קופסאות נמצאות ב- F, לכן כל איחוד שלהן נמצא ב- F, ובפרט קבוצות פתוחות נמצאות ב- F. i= 2.3 התפלגויות בדידות התפלגות בדידה הגדרה. נאמר שלמשתנה מקרי X יש התפלגות בדידה אם קיימת סדרה של מספרים שונים {X = P. (כלומר, יש מספר בן מנייה i= x i} = i= P {X = x כך ש-{ i x, x 2,... של תוצאות אפשריות.) אפשר לאפיין התפלגות על-ידי פונקציית משקל: } i f X (x i ) = P {X = x ו- 0 = (x) f X.F X (x) = P {X x} = i=x f i x X(x i ) ;x / לכל i= x i 2.3. התפלגות ברנולי התלפגות ברנולי משתנה מקרי X הוא בעל התפלגות ברנולי אם.f X (0) = q = p,f X () = p כלומר, X מקבל את הערך בהסתברות p ואת הערך 0 בהסתברות p. משתנה מקרי המתפלג לפי ברנולי מתאר הצלחה או כישלון בניסוי בודד. 2.3.2 התפלגות בינומית f X (k) = P {X = k} = ( k) התפלגות בינומית משתנה מקרי X הוא בעל התפלגות בינומית אם p k ) (p k (. עבור.k = 0,,..., (ברור שמתקיים = X(k) k=0 f 7 למעשה, מספיק לדרוש ש- g בורל, כלומר המקור של כל קבוצת בורל הוא קבוצת בורל. איפיון ברוח הגדרה זו לפונקציה רציפה: המקור של כל קבוצה פתוחה היא קבוצה פתוחה. 8 זו דרישה מספיקה, כי כל קבוצת בורל ניתן לייצג על-ידי קבוצות פתוחות. 0
2 משתנים מקריים 2.3 התפלגויות בדידות טענה :6 יהיו X,..., X משתנים מקריים בלתי-תלויים ברנולי. אז X + X 2 +... + X הוא משתנה מקרי בינומי..P {X = α,..., X = α } = אנו i= P {X i = α i } = p P α i q P α i הוכחה. : כלומר, α -ים i k מתוך יקבלו את הערך, והשאר מעוניינים במקרים בהם i= α i = k.p {X +... + X = k} = ( ) k p k ( p) k דרכים לבחור כך; אז ( k) 0. יש 2.3.3 התפלגות בינומית שלילית ) ( = (k) f X עבור התפלגות בינומית שלילית +k משתנה מקרי X הוא בעל התפלגות בינומית שלילית אם k ) (p k p.k = 0,, 2,... זו התפלגות: נכתוב טור טיילור ל- q <,q = p) ( q) :(0 הנגזרת ה- k =.p = ( q) נכפול את ( +k ) k=0 k q k אז, (+) (+k ) (ב- 0 = q) היא ) שני האגפים ב- p ונקבל q k p =. כעת, מכיוון שהסכום הוא, נוכל באופן k=0 ( +k k פורמאלי לבנות מכך התפלגות אם נגדיר ) i.f X (x) = x i x f X(x משתנה מקרי בעל התפלגות בינומית שלילית מייצג את ההסתברות לכך שלפני הצלחות (כאשר הצלחה מתקבלת בהסתברות p) יהיו k אי-הצלחות (בהסתברות p ): בסוף יש הצלחה אחת, ובשאר k + המקומות יש להציב k אי-הצלחות ו- הצלחות באופן כלשהו. 2.3.4 התפלגות גיאומטרית התפלגות גיאומטרית היא מקרה פרטי של התפלגות בינומית שלילית, כאשר = (שאז התפלגות גיאומטרית = q) P {X = k} = f X (k) = ( p) k p :(( עבור... 2, =, :k זו k=0 qk ההסתברות ל- k אי-הצלחות עד ההצלחה הראשונה. נגדיר Y להיות מספר אי ההצלחות עד להצלחה מספר. אפשר לייצג,Y = X +... + X כאשר } i X} משתנים מקריים בלתי-תלויים שווי-התפלגות המפולגים כמספר אי-ההצלחות עד להצלחה הראשונה (דהיינו, גיאומטרית). Y הוא בעל התפלגות בינומית שלילית. 2.3.5 התפלגות פואסון התפלגות פואסון λ λk.p {X = k} = f X (k) = e ברור משתנה מקרי X הוא בעל התפלגות פואסון אם. λ k שהסכום הוא, שכן = e λ P {X = k} = ( k) p k 4.2.2008 משפט 7 (פואסון): יהיו X משתנים מקריים בינומיים, ( p ) k.p {X = k} λk e λ כאשר.p λ אז הוכחה. בתרגול. (k+) [ k היא בערך t, אם λ שיחות טלפון מגיעות בקטע [t,0], ההסתברות לשיחה בקטע [t λ. t שיחות שמגיעות בקטעים זרים הן בלתי-תלויות. ההסתברות שמגיעה יותר משיחה אחת
2.4 התפלגויות רציפות 2 משתנים מקריים P {X +... + X = k} היא [0, t] בקטע שיחות ההסתברות ל- k.o( t ) היא [ k k+ t, בקטע [t כאשר = i X כשיש שיחה בקטע i (בהסתברות X i = 0,(λ t אחרת כלומר, X i בעלי התפלגות P {X +... + X = k} = ברנולי, ולכן X +... + X משתנה מקרי בינומי. אז ( )(λ t k )k ( λ t ) k (λt)k e λt (כאשר ;p λt,p = λ t למעשה, ),p = λ t + o( t ואז,p λt אבל זה מספיק כדי שיתקיים המשפט.) 2.4 התפלגויות רציפות התפלגות רציפה צפיפות ההתפלגות הגדרה. נאמר שלמשתנה מקרי X יש התפלגות רציפה אם קיימת פונקציה f אי-שלילית עם לא.F X (x) = P {X x} = x יותר ממספר סופי של נקודות אי-רציפות כך שמתקיים f(y)dy f נקראת צפיפות ההתפלגות. 2.4. התפלגות אחידה ההתפלגות האחידה על קטע [b b > a,a], היא b a x [a, b] f(x) = 0 x / [a, b] התפלגות אחידה אחידה. כשאומרים ניקח נקודה באקראי בקטע [b,a] מתכוונים לבחירת נקודה עם התפלגות 2.4.2 התפלגות נורמלית (Gauss),σ =,a עבור = 0.f(x) = σ (x a) 2 e 2σ 2 2π σ a, פרמטרים; ההתפלגות הנורמלית היא התפלגות נורמלית התפלגות נורמלית סטנדרטית.. σ (x a)2 e 2σ 2π dx = 2π e y2 2 dy = אז?.x y = x a σ נחליף משתנה: כדי להוכיח זאת, נחשב ( e x2 2 dx)( e x2 2 dx) = e x2 +y 2 2 dxdy 2π 2π 2π באמצעות מעבר לקואורדינטות פולאריות ϕ),y = r si ϕ,x = r cos ואז.(x 2 + y 2 = r 2 2.4.3 התפלגות קושי π =.f(x) מתקיים, כנדרש, π(+x 2 ) התפלגות קושי היא dx + x 2 = π arcta x = π (π 2 + π 2 ) = התפלגות קושי 2
2 משתנים מקריים 2.5 וקטורים מקריים 2.4.4 התפלגות מעריכית ההתפלגות המעריכית היא התפלגות מעריכית λe λx x 0 f(x) = 0 x < 0. 0 עם פרמטר > 0.λ מתקבל = f(x)dx ההתפלגות מייצגת את הזמן T עד לשיחת הטלפון הראשונה: ראינו קודם שההסתברות ל- k,p {X = k} = (λt)k ועבור = 0 k (כלומר, אין שיחות שיחות טלפון בקטע [t,0] היא e λt.p {T t} = t בקטע t] ([0, נקבל ;P {X = 0} = e λt ואילו כאן, 0 λe λx dx = e λt 2.4.5 התפלגות Γ התפלגות Γ λ α x α e λx Γ(α) x 0 f(x) = 0 x < 0} התפלגות Γ היא = Γ(α) (עם הצבה.(y = λx (מתקיים 0 λ α x α e λx dx = 0 כאשר y α e y dy (.Γ() = ( )! כאשר = α, זו ההתפלגות האקספוננציאלית. 2.4.6 התפלגות χ 2 התפלגות χ 2 היא ההתפלגות של,X 2 +... + X 2 כאשר X i בלתי-תלויים עם ההתפלגות התפלגות χ 2 הנורמלית הסטנדרטית. זה מקרה פרטי של התפלגות Γ; נראה זאת בהמשך. 2.5 וקטורים מקריים וקטור מקרי הגדרה. ) (X, X 2,..., X הוא וקטור מקרי, בעל התפלגות -מימדית: F (X,...,X )(x,..., x ) = P {X x,..., X x } במקרה של התפלגות בדידה, = ) i.ā i R, i f X(ā דוגמה. במקרה הדו-מימדי, התפלגות אחידה בעיגול או במלבן; למשל, מלבן עם שטח S. f(x, x 2 ) = S כאשר f(x, x 2 ) = 0,(x, x 2 ) R אחרת. אפשר להגדיר דוגמה. בהינתן B ו- C משתנים מקריים בלתי-תלויים עם התפלגות אחידה על [,0], חשבו את x}.p {x 2 + 2Bx + C > 0 3
3 תוחלת, שונות ותיאום 2.6 פרדוקס Bertrad 2.6 פרדוקס Bertrad בעיה: בהינתן מעגל מרדיוס, נבחר מיתר באקראי ונסמן את אורכו ב- X. P X} > {3?= דרך : נבחר את מרכז המיתר באקראי; זה מגדיר את המיתר באופן יחיד (עד-כדי סיבוב המעגל)., 2 אורכו גדול מ- או שווה על-פי חישוב טריגונומטרי, נקבל שאם המרכז נמצא במעגל מרדיוס.P {X > 3} = ( 2 )2 π ל- 3 ; לכן נקבל = 4 π 2 דרך 2: תהי Z נקודה כלשהי על המעגל; נבחר את קצהו השני של המיתר באופן אקראי. על-פי חישוב טריגונומטרי, נקבל שאורך הקשת שבחירת נקודות ממנה תביא למיתר שאורכו כנדרש הוא.P {X > 3} = 3 שליש מהיקף המעגל, ולכן מסקנה: יש חשיבות לאופן הגדרת משתנים מקריים בחישוב ההסתברות. 3 תוחלת, שונות ותיאום 3. תוחלת תוחלת הגדרה. תוחלת (תוחלת מתמטית; (expectatio מוגדרת בנפרד עבור משתנים מקריים בדידים ורציפים: 9, יהי X משתנה מקרי עם התפלגות בדידה ופונקציית משקל (x) f X כך ש- = ) i =i f X(x.EX = i= f X(x i )x i :X התוחלת של. f X (x i ) x i < נקודות שונות. נניח ש- x i. אז יהי X עם התפלגות רציפה עם פונקציית צפיפות (x) f X כך ש- < X(x) x dx f.ex = f X(x)xdx בשני המקרים, אנו דורשים התכנסות בהחלט 20 בכדי שבמקרה הרציף לא נהיה תלויים בסדר הסכימה, ובמקרה הרציף, כדי שלא נהיה תלויים באופן לקיחת הגבולות בחישוב האינטגרל הלא-אמיתי. משפט 8: יהיו X ו- Y משתנים מקריים כך ש- EX, EY קיימים. אז ) Y E(X + קיימת 7.2.2008 ו-,E(X + Y ) = EX + EY ואם λ קבוע, E(λX) קיימת ו- λex.e(λx) = הוכחה (משתנים מקריים בדידים). נניח ש- X מקבל ערכים..., 2 x, x ו- Y מקבל ערכים.{x i + y j i, j} הן נקודות שונות בקבוצה z i.{x i + y j } מקבל ערכים X + Y אז.y, y 2,... ) Y E(X + קיימת, כי 9 לו ידענו תורת המידה, יכולנו לאחד את ההגדרות. 20 אין צורך להכניס את ) i f X x) לערך מוחלט, כיוון שזו פונקציה אי-שלילית. 4
3. תוחלת 3 תוחלת, שונות ותיאום i= z i P {X + Y = z i } = k= k= i,j : x i+y j=z k x i + y j P {X = x i, Y = y j } i,j : x i+y j=z k ( x i + y j )P {X = x i, Y = y j } = i,j ( x i + y j ) P {X = x i, Y = y j } = i,j x i P {X = x i, Y = y j }+ + i,j y j P {X = x i, Y = y j } = i x i P {X = x i } + j y j P {Y = y j } = E X + E Y < כי } i j P {X = x i, Y = y j } = P {X = x, וזאת כי } j {Y = y זרים ולכן. j {X = x i} {Y = y j } = {X = x i } שוויון. כעת, כשאנו יודעים שיש התכנסות בהחלט, ניתן "למחוק" את סימני הערך המוחלט ויתקבל הוכחת ההומוגניות כתרגיל (גם למקרה של משתנים מקריים רציפים.) טענה 9: יהי X משתנה מקרי ו- g פונקציית בורל 2 כך ש-( Eg(X קיים. 22 אז () אם X משתנה =,Eg(X) כאשר } i {x הם הערכים השונים ש- X מקבל; מקרי בדיד אז ) i i= g(x i)f X (x.eg(x) = (2) אם X משתנה מקרי רציף (בעל התפלגות רציפה), g(x)f X(x)dx הוכחה. () יהיו z k הערכים השונים בקבוצה {( i.{g(x אז Eg(X) = k= z kp {g(x) = z k } = k= i : g(x i)=z k g(x i )P {X = x i } = x i g(x i )P {X = x i } = x i g(x i )f X (x i ) (2) קצת סיפור להוכיח, אז לא נעשה זאת. טענה 0: יהיו X ו- Y משתנים מקריים בלתי תלויים כך ש- EX ו- EY קיימים. אזי EXY קיימת ו-.EXY = EXEY הוכחה (התפלגות בדידה). X מקבל ערכים } i {x שונים, Y מקבל ערכים } j {y שונים; z k האיברים השונים בקבוצה } j.{x i y EXY = k= z kp {XY = z k } = k= i,j : x iy j=z k x i y j P {X = x i, Y = y j } = k= i,j : x i,y j=z k x i y j P {x = x i }P {Y = y j } = i,j x iy j P {X = x i }P {Y = y j } = ( i x ip {X = x i })( j y jp {Y = y j }) = EXEY 2 כזכור, g נקראת פונקציית בורל אם לכל קבוצה A בורל (A) g היא קבוצת בורל. g(x) 22 משתנה מקרי, שכן {g(x(ω)) < x} F שקול ל- F,{X(ω) g (, x)} כלומר.X (g (, x)) F 5
3 תוחלת, שונות ותיאום 3. תוחלת 3.. תוחלות של התפלגויות בדידות ברנולי.EX = p אחרת; X = 0,p בהסתברות X = בינומי.E(X +... + X ) = p גיאומטרי k= kp( p)k = p k= ( ( p)k ) = p( k= ( p)k ) = p( p p ) = p מציאת EX כאשר X פואסון (λ (EX = או בינומי שלילי כתרגיל. 3..2 תוחלות של התפלגויות רציפות אקספוננציאלי xλe λx dx = λ. 2π נורמלי σ) (a, (x a)2 xe 2σ dx = a.2.2008.f X (x) = בהתפלגות Γ יש פונקציית צפיפות Γ(α) xα λ α e λx הצפיפות כש- x שלילי היא 0, לכן נוכל לחשב את האינטגרל רק מ- 0. 0 xf X (x)dx = λγ(α) 0 = Γ(α+) λγ(α) Γ(α+) = α λ x α λ α+ e λx dx 0 x α λ α+ e λx dx Γ התפלגות Γ עם פרמטר,α+ ו-( αγ(α.γ(α+) = Γ(α+) 0 שכן = dx x α λ α+ e λx קושי A 0 x +x dx = A 2 2 0 d(x 2 +) x 2 + π f X (x) = התוחלת לא קיימת: +x 2 = 2 l(a2 + ) A x, כי π +x dx = 2 ולפי ההגדרה, תוחלת קיימת אם <.E X 6
3.2 שונות 3 תוחלת, שונות ותיאום σ 2π = (x).f X נחשב: EX = σ 2π σ 2π +a σ 2π (x a)2 e 2σ 2 = σ 2π נורמלית ; נחליף משתנה ונקבל σ 2π (x a)e (x a) 2 2σ 2 dx = σ 2π (x a) 2 פונקציית הצפיפות היא e 2σ 2 (x a)2 xe 2σ 2 dx (x a)2 (x a)e 2σ 2 dx+ (x a)2 e 2σ 2 dx אנו יודעים כי = dx ye y2 2σ 2 dy = 0, לכן בסך-הכול.EX = a 0 = 0 אך 3.2 שונות שונות הגדרה. השונות של משתנה מקרי היא EX) 2.Var X = E(X הנורמלית). ניעזר בעובדה שאם a) 2,g(x) = (x מתקיים דוגמה (שונות ההתפלגות i = Eg(X) ונחשב: g(x i)f X (x i ) בדיד X g(x)f X(x)dx רציף X σ 2π (x a)2 e (x a)2 2σ 2 dx = σ 2π y2 e y2 2σ 2 dy = σ2 2π ( y σ )2 e 2 ( y σ ) 2 d( y 2 σ = σ 2 2π z2 e z2 2 dz נבצע אינטגרציה בחלקים:. 2π z2 e z2 z ze z2 2 dz 2 dz = e z2 2 = 2π e z2 2 dz = בסך-הכול,.E(X a) 2 = σ 2 הגדרה. σ = Var X היא סטיית התקן variatio).(stadard 23 3.3 תיאום הגדרה. יהיו X ו- Y משתנים מקריים. )] EY cov(x, Y ) = E[(X EX)(Y הוא התיאום תיאום.(covariace) אם = 0 ) Y,cov(X, אומרים ש- X ו- Y לא-מתואמים זה לזה. באופן כללי, ) 2, ab 2 (a2 + b לכן אם Var Y,Var X קיימים גם ) Y cov(x, קיימת: (X EX)(Y EY ) 2 ((X EX)2 + (Y EY ) 2 ) 23 לא כל-כך משתשים בזה במתמטיקה. 7
4 אי-שוויונים אם X ו- Y בלתי-תלויים, אז cov(x, Y ) = E((X EX)(Y EY )) = E(XY XEY Y EX + EXEY ) = EXY EXEY EXEY + EXEY = EXY EXEY = 0 (כמובן, נוסחה זו EXEY cov(x, Y ) = EXY נכונה באופן כללי.) מסקנה : משתנים מקריים בלתי-תלויים הם לא-מתואמים. 4.2.2008 שאלה: האם משתנים מקריים לא-מתואמים הם תמיד בלתי-תלויים? דוגמה נגדית: X ו- Yברנולי בלתי-תלויים שווי-התפלגותכךש- 2 = } = {Y.P {X = } = P נגדיר.V = X Y,U = X + Y כדי לחשב את ) (EU)(EV,cov UV = EUV נמצא = 0 4 + 2 2 + 4 =,EU :EUV = 2 = 2,EV = 2 = 2 אז = 4 0} = V P {U = 0, שונה = 0 UV,cov כלומר U ו- V לא מתואמים. עם זאת, 4 = 0} = {V,P {U = 0}P ולכן הם לא בלתי-תלויים. מ- = 8 2.Var( i= X i) = למה :2 X,..., X משתנים מקריים לא-מתואמים. אז i= Var X i Var(X +... + X ) = E(X +... + X (µ +... + µ )) 2 הוכחה. נסמן.µ i = EX i = E( i= (X i µ i )) 2 = E( i= (X i µ i ) 2 + i j (X i µ i )(X j µ j )) = i= Var X i + i j cov(x i, X j ) אך = 0 ) j,cov(x i, X ומתקבל הדרוש. 4 אי-שוויונים משפט 3 (אי-שוויון בסיסי): תהי 0 h פונקציה אי-שלילית בורל (מספיק רציפה) ו- X משתנה.2.2008.P {h(x) a} Eh(X) a מקרי כך ש-( Eh(X קיים. אז לכל > 0 a, הוכחה. נגדיר מאורע a} A = {h(x) ופונקציה מציינת 24. A ברור ש-( A ).E A = P אפשר לכתוב 0 A h(x) a תמיד, אז 0 ) A E(h(X) a (שהרי זוהי תכונה נוספת של התוחלת: לכל משתנה מקרי 0,X EX 0 אם קיימת, וזה ברור כי ) i EX = x i f X (x כאשר 0 i,x ובאופן דומה במקרה הרציף). כלומר, 0 A,Eh(X) ae ומכאן מתקבל האי-שוויון (A).Eh(X) ap מאי-שוויון זה נובעים אי-השוויונים הבאים: ;idicator 24 לעתים גם מסומן.χ A מתקיים = (ω) A עבור A (ω) = 0,ω A אחרת. 8
5 התכנסות משתנים מקריים P { X a} E X a משפט 4 (אי-שוויון מרקוב): הוכחה. ניקח X.h(X) = P { X EX a} Var X a 2 h(x) במקרה ש-=.P { X a} = P {X 2 a 2 } EX2 a 2 משפט 5 (אי-שוויון צ בישב): הוכחה. עבור h(x) = X 2 נקבל EX 2, X נקבל את הנדרש. דוגמה (הערכה). יהי X משתנה מקרי כך ש- 33 =,EX.Var X = 6 נרצה להעריך את :P {23 X 43} P {23 X 43} = P { 0 X 33 0} = P { X 33 0} = P { X 33 > 0} 6 לפי אי-שוויון צ בישב. 0 2 משפט 6 (אי-שוויון קושי-שוורץ): X ו- Y משתנים מקריים כך ש- EX 2 ו- EY 2 קיימים. אז.E XY (EX 2 EY 2 ) 2 הוכחה. 0 2 ) yy y) (X קבוע). אז E(X yy ) 2 = EX 2 2yEXY + y 2 EY 2.0 זהו פולינום ריבועי ב- y. פולינום ריבועי זה אי-שלילי לכל y אם"ם 0 2 ) (EXY.EX 2 EY 2 25 5 התכנסות משתנים מקריים p 4.2.2008 הגדרה. יהיו X ו-..., 2 X, X משתנים מקריים. נאמר ש- X X (מתכנס בהסתברות) אם.P { X X > ε} לכל > 0,ε 0 הגדרה. יהיו X ו-..., 2 X, X משתנים מקריים. נאמר ש- X X כמעט תמיד/כמעט בכל.ω Ω \ N לכל X (ω) מקום אם קיים מאורע N כך ש- 0 = (N) P ו-( X(ω התכנסות בהתפלגות כ"ת = בהסתברות הגדרה. אם..., 2 X, X משתנים מקריים עם פונקציות התפלגות..., X2 F X, F ו- F X פונקציית התפלגות של משתנה מקרי X כך ש- F X F X בכל נקודת רציפות של F, X אז X מתכנס d ל- X בהתפלגות X) X או.(X X משפט :7 X X כמעט תמיד אם"ם = 0 ε}} lim P { k { X k X > לכל > 0 ε. בפרט, התכנסות כמעט תמיד יותר חזקה (או לא יותר חלשה) מהתכנסות בהסתברות. כלומר, התכנסות כמעט תמיד גוררת התכנסות בהסתברות. 26 25 אנו מחשבים מתי 0 4ac b 2 עבור פולינום ay 2 + by + c שעבורו b = 2EXY,a = EY 2 ו- =.C 26 זה נכון כי ε}.p { S k { X k X > ε} P { X X > 9
5 התכנסות משתנים מקריים X כמעט תמיד, לכן קיימת קבוצה N F עם = 0 (N) P כך שלכל P { = הוכחה. X > 0 ε ו- N ω Ω \ קיים (ω) ε כך ש- ε.sup k ε(ω) X k (ω) X(ω) לפיכך k {ω P.נתבונןבמאורעהמשלים: { = k { X k(ω) X(ω) ε}} =. X k (ω) X(ω) > ε}} = 0 נסמן ε} A ;A = k {ω X k(ω) X(ω) > יורדות כאשר, ולפי תכונות ההסתברות (מ- σ -אדיטיביות), גם ).P (A ) P ( A לכן נקבל בסך-הכול.lim P { k {ω X k(ω) X(ω) > ε}} = 0 דוגמה (התכנסות בהסתברות ולא כמעט תמיד). [,0] = Ω, σ -אלגברת F בורל, P = Leb (כלומר, ] [0, b] [a, אז.ω [0, ].(P [a, b] = b a צריך כעת לבנות משתנים מקריים פונקציות. נייצג כל טבעי כ- m, = 2 k + כאשר k.m = 0,,..., 2 נגדיר באמצעות ייצוג זה ω [m2 k, (m + )2 k ] X (ω) = 0 ω [0, ] \ [m2 k, (m + )2 k ].P { X > ε} = 2 k p מצד שני, אין קבוצה עליה כל המשתנים מתקיים 0,X כי 0 המקריים מתאפסים. 27 כ"ת בהסתברות p בהסתברות = כ"ת לתת-סדרה משפט 8: אם X X אז קיימת תת-סדרה X i כך ש- X X i כמעט תמיד. 3.4.2008 הוכחה. לכל > 0 ε מתקיים 0 ε},p { X X > לכן נוכל לכל m לבחור (m) כך ש-.P { X (m) X > m } 2 m נסמן (m).y m = X אז.P { Y m X > m } 2 m. m P (A m) = m= 2 m = < נקבל,A m = { Y m X > m אם נסמן } (,P 28 כלומר קיימת Ω Ω כך מבורל-קנטלי (שנוכיח בהמשך), = 0 m) = m> A ש- = ( Ω) P ולכל ω Ω קיים M(ω) כך שאם M(ω).ω A m,m כלומר,ל-( M(ω,m. Y m (ω) X(ω) m לכן X(ω) Y (ω) כמעט תמיד..X d X אז X p בהסתברות = בהתפלגות משפט 9: אם X X אז 0 ε}.p { X X > נקבל p הוכחה. X F (x) = P {X X} = P {X x, X x + ε} + P {X x, X > x + ε} P {X x + ε} + P { X X > ε} = F (x + ε) + P { X X > ε F (x + ε) האי-שוויון נשמר גם כשעוברים לגבול עליון: ε).lim sup F (x) F (x + באופן דומה, F (x ε) = P {X x ε} = P {X x ε}, X x} + P {X x ε, X > x} F (x) + P { X X > ε} 27 נקבע ω; הוא שייך לסדרה אינסופית של קטעים מהסוג הזה, שעליהם = (ω) X. k לכן 0 k X. 28 זהו הגבול העליון: קבוצת ה- ω -ות שמופיעים באינסוף מבין A. 20
6 חוק המספרים הגדולים (כי כאשר מתעלמים מהתנאי X x ε ההסתברות גדלה). אז (x).f (x ε) lim if F בנקודת רציפות, נעבור לגבול 0 :ε נקבל (x) lim F (x) F (x) lim F ולכן (x).f (x) = lim F דוגמה (התכנסות בהתפלגות אך לא בהסתברות). ניקח..., 2 X, X משתנים מקריים בלתי- בהתפלגות = בהסתברות, גם לא לת"ס = 2 } = i.p {X ברור, אם כן, X X עבור X משתנה תלויים שווי-התפלגות ברנולי, מקרי ברנולי. p נניח שקיימת תת-סדרה X. i X תת-סדרה זו זהה לסדרה כולה, אז נדבר עליה. מתקיים 0 δ} P { X X > לכל,δ ולכן גם 0 δ}.p { X + X > מאי-שוויון המשולש נקבל 0 2δ}.P { X + X > אבל משתנים אלה בלתי-תלויים ולכן = 4 } =,P {X + =, X = 0} = P {X + = 0, X ומכאן נקבל סתירה עבור.(P { X + X > 2δ} λ > 2 (ולכן P { X + X = } כי = 2,δ < 2 בהתפלגות לקבוע = בהסתברות 29.X p a קבוע), אז a) X d משפט :20 אם a הוכחה. פונקציית ההתפלגות של a היא {x F, (x) = P a} שרציפה בכל נקודה חוץ מב- a. אז מהתכנסות בהתפלגות, נקבל מצד אחד ε} = F (a + ε) = lim P {X a + ומצד שני,P {a ε < X a + ε} ניקח הפרש:.0 = F (a ε) = lim P {X a ε} ולכן 0 ε}.p { X a > 6 חוק המספרים הגדולים 6. בצורה החלשה 4.2.2008 משפט :2 יהיו..., 2 X, X משתנים מקריים לא-מתואמים כך ש- Var X i = σ 2 i,ex i = µ i.p { X+...+X µ+...+µ > ε} 0,ε אז לכל > 0. σ2 +...+σ2 קיימים, ונניח ש- 0 2 הוכחה. נשתמש באי-שוויון צ בישב : 30 P { X+...+X (µ+...+µ) > ε} = P { X +... + X (µ +... + µ ) > ε} Var(X+...+X) = P i= σ2 i ε 2 2 ε 2 2 0 משפט 22 (חוק המספרים הגדולים בצורה החלשה): יהיו..., 2 X, X משתנים מקריים לא- σ2 +...+σ2 (למשל אם.(σ i = σ אז 2 P { X +... + X מתואמים כך ש- µ EX i = ומתקיים 0 µ > ε} 0 29 ניתן להראות בכיוון ההפוך שגם התכנסות בהסתברות לקבוע לא מספיקה להתכנסות כמעט תמיד. P { X µ > ε} Var X ε 2 30 2
6.2 שימושים סטטיסטיים 6 חוק המספרים הגדולים 6.2 שימושים סטטיסטיים 6.2. מציאת פרמטר של התפלגות אנו מניחים (או יודעים) ש- ξ, ξ 2,... ξ משתנים מקריים בלתי-תלויים שווי-התפלגות ברנולי, 8.2.2008 אבל איננו יודעים מהו { = θ; = P ξ} המטרה היא למצוא את θ. נעבוד במרחב ההסתברות ) θ (Ω, F, P עבור ] [0,,θ כאשר Ω הוא מרחב ה- -יות.P θ (ω) = θ P i= xi ( θ) P i= xi ו- x i בהן = 0, ω = (x,..., x ) אנו רוצים לבנות מעריך (ω) T פונקציה על Ω, שמטרתה לתת הערכה ל- θ בהינתן תוצאות.T ב-( ω ) ω = (x,..., x ) ניסויים על-ידי הצבת של x,..., x ξ(ω)+...+ξ(ω).t (ω) = לפי חוק המספרים,T (ω) = x+...+x או אפשר לקחת מעריך p.pθ { ξ(ω)+...+ξ(ω) > ε} כלומר, T θ המעריך עקבי הגדולים בצורה החלשה, 0 3.(ubiased) המעריך מאוזן ET = θ+...+θ E(T θ)2.p θ { T (ω) θ δ} נחשב: התוחלת של כל ξ i היא δ 2 = θ בנוסף,.(cosistet) לפי אי-שוויון צ בישב, E(T θ) 2 = E( i= (ξ i θ)) 2 2 = Var i= ξ i i= 2 = Var ξ i 2.E(T θ) 2 = Var ξ θ, לכן ומכיוון שכולם שווי-התפלגות, נקבל נחשב את השונות: θ).var ξ = E(ξ θ) 2 = Eξ 2 θ 2 = θ θ 2 = θ( אז θ( θ).δ = λ אז נקבל.P θ { T = θ λ אז.T λ θ( θ).p θ { T (ω) θ δ} E(T θ)2 δ בסך-הכול 2 θ( θ), λ = ואז δ θ( θ). נסמן δ = ( θ( θ) 2 δ ) 2 θ( θ) } θ( θ) λ.p 2 θ { T θ > λ אם כן, } λ 2 θ T + λ, נקבל λ בהסתברות גדולה מ- או שווה ל- 2 θ( θ) = θ( θ) δ 2 4 θ).θ( נעיר כי אי-השוויון אנו עדיין רוצים "לסלק" את θ; נשים לב שלכל [,0] θ,.t λ 2 θ T + λ נכון לכל λ, כי לפי אי-שוויון צ בישב הוא נכון לכל λ. לכן נקבל 2 = 8 9 9. אם לא מסתפקים נבחר למשל = 3 λ: אז ההסתברות שנקבל היא = 0.8888 3.θ [T קטע זה נקרא קטע 2, T + 3 בהסתברות זו, צריך לבחור λ גדול יותר. נקבל ] 2 סÆמÆך iterval) (cofidece עם רמת סÀמÈךÀ (reliability) 0.8888. 6.2.2 קירוב פולינומיאלי משפט 23 (משפט ויירשטראס): תהא f פונקציה רציפה על [,0] ונגדיר B (x) = f( k ( ) ) x k ( x) k k k=0 B (x) במידה שווה על ].[0, ל-[ [0, x פולינום ברנשטיין. אז f(x). P i= a i =,a,..., a כאשר 0 T (ω) = a ξ (ω)+...+a ξ (ω) 3 יכולנו לקחת מעריך אחר: למשל, 22
6 חוק המספרים הגדולים 6.2 שימושים סטטיסטיים הוכחה. יהיו ξ,..., ξ משתנים מקריים ברנולי שווי-התפלגות כך ש- x.p {ξ = } = אזי.P {S = k} = ( אז k) x k ( x) k הוא משתנה מקרי בינומי, S = ξ +... + ξ.b (x) = Ef( S ) = k=0 f( k )P {S = k} B (x) f(x) = f( k )P {S = k} f(x) k=0,f(x) = אז ניתן לכתוב k} k=0 f(x)p {S = = k=0 (f( k ) f(x))p {S = k} k=0 f( k ) f(x) P {S = k} נתון > 0 ε שרירותי; נבחר > 0 δ כך ש- δ x y אז f(x) f(y) ε (מרציפות במידה שווה על ].([0, נסמן f(y).m = sup y [0,] נכתוב = k : k x δ f( k ) f(x) P {S = k}+ + k : k x >δ f( k ) f(x) P {S = k} ε + 2M k : k x >δ P {S = k} = ε + 2MP { S x > δ} לפי חוק המספרים הגדולים בצורה החלשה, הסתברות זו שואפת ל- 0 כש-, כי P { S x > δ} Var S δ 2 2 2M, כלומר 4δ 2 ε 4δ 2.P { S ε x > δ} 2M N כך שלכל N נבחר.Eξ = x Var ξ = δ 2 = x( x) δ 2 לפי אי-שוויון צ בישב, 0 4δ 2 ε בלי תלות ב- x. 32 כעת אפשר לבחור N כך שלכל N מתקיים 2M ללא תלות ב- x. לכן ההתכנסות היא במידה שווה. ניתן להרחיב את השאלה: במקום התפלגות ברנולי ובינום, נדבר על התפלגות פואסון ונגדיר.x [0, ] עבור R (x) = e x k=0 f( k ) (x)k למה 24: יהיו X ו- Y משתנים מקריים בלתי-תלויים עם התפלגות פואסון עם פרמטר λ ו- µ, בהתאמה; אז ל- X + Y יש התפלגות פואסון עם פרמטר λ. + µ P {X + Y = } = k=0 P {X = k, Y = k} = k=0 = e (λ+µ)! k=0 = e (λ+µ) (λ+µ)! λk µ k e λ e µ ( k)! X,..., X משתנים מקריים בלתי-תלויים פואסון עם פרמטרים! ( k)! λk µ k הוכחה. באינדוקציה, אם.λ +... + λ משתנה מקרי פואסון עם פרמטר X +... + X אז,λ,..., λ יהיו..., 2 X, X משתנים מקריים בלתי-תלויים פואסון עם פרמטר x. אז לפי הלמה 33.R (x) = k=0 f( k )P {S = k} מכאן,.x פואסון עם פרמטר S = X +... + X 32 זאת כי x) x( לכל ] [0, :x המקסימום מתקבל עבור = 2.x 4 33 זו לא ) S,Ef( כי אנו מתעלמים מערכים שליליים. אבל אפשר לכתוב שזהו (.Ef( S ( [0,](S 23
6.2 שימושים סטטיסטיים 6 חוק המספרים הגדולים 34.R (x) טענה :25 אם f פונקציה רציפה על ] [0, ו-( (0,,x אז f(x) 2.2.2008 f(x) e x k=0 f( k ) (x)k = f(x)e x (x) k k=0 e x k=0 f( k ) (x)k f(x) e x k=+ הוכחה. מתקיים (x) k + +e x k=0 f(x) f( k ) (x)k מהרציפות, לכל > 0 ε קיים > 0 δ כך שאם x, y [0, ], x y δ אז. f(x) f(y) < ε.sup y [0,] f(y) = M < בנוסף, נסמן.x + δ < כך ש- δ אז נבחר,0 < x < f(x) e x (x) k k=+ + +e x k : k x δ f(x) f( k (x)k ) +e x k : k x >δ f(x) f( k Me x k x=( x)+ + ) (x)k (x) k + ε + 2MP { S x > δ} כאשר S = X +... + X עבור } i {X משתנים מקריים בלתי-תלויים שווי-התפלגות k x = ( x) + פואסון עם פרמטר.x נחלק את + x) k x = ( ב- ונקבל > δ לפי בחירת δ; אז ε + 3MP { S ε + 3M Var S = ε + 3M = ε + 3M δ 2 Var S 2 δ 2 Var X δ 2 x > δ} ומתקיים,Var X = x כי Var X = EX 2 (EX ) 2 = EX 2 x 2 ובנוסף.e x xk k=0 k2 = x 2 + x 6.2.3 שיטת מונטה-קרלו 35.0 f(x) רציפה ו- f(x), רוצים לחשב f(x)dx 0 יהיו..., 2 X, Y, X 2, Y משתנים מקריים בלתי-תלויים שווי-התפלגות עם התפלגות אחידה f(x i ) > Y i.ez i = P {f(x i ) > Y i } אז.Z i = על הקטע [,0]. נגדיר 0 f(x i ) Y i P {(X i, Y i ) } = P {X i [a, b]}p {Y i [a, c]} = arear.p {Z i = } = 0 f(x)dx משתנים מקריים בלתי-תלויים ברנולי, Z} {i. i= Z p i EZ i = על-ידי 0 f(x)dx שיטה: נקרב את f(x)dx 0 34 ההתכנסות במידה שווה היא על כל קטע סגור ב-[,0], אבל לא על כל [,0]: אם = x, נוכיח בעתיד שההתכנסות היא לא ל-( f( אלא ל- ()f. 2 35 כדי להגיע למצב כזה, אפשר להוסיף או להוריד קבוע ולחלק ב- sup של הפונקציה. 24
6 חוק המספרים הגדולים 6.3 בצורה החזקה 6.3 בצורה החזקה 25.2.2008 משפט 26 (החוק החזק של המספרים הגדולים): = X )משתניםמקרייםבלתי-תלוייםושווי- ).S = התפלגות. נניח ש- < ) 36 E( X וש- µ.e(x ) = 37 נסמן לכל טבעי k= X k 38.P ( S אזי = µ).p (lim S = ניסוח אחר: לכל,ε = (קיים N כך שלכל µ < ε > N תרגיל: מצאו סדרה של משתנים מקריים = {Z } כך שלכל lim k P ( Z < ε) = ε אבל קיים ε כך ש- 0 = ε).p ( N : > N Z < דוגמה. יהיו = {A } מאורעות בלתי-תלויים המקיימים P (A ) = ו- = Z אם A קורה, = 0 Z אחרת.. אז מתקיים למה 27 (בורל-קנטלי): (א) יהיו = {A } מאורעות ונניח < ) = P (A 39.P ( N : > N A ) =. אז מתקיים (ב) תהי = {A } סדרת מאורעות בלתי-תלויים ונניח = ) = P (A.P ( N : > N A ) = 0 הוכחה. (א) יהי Ā המאורע שקיים N כך שלכל A, > N לא מתקיים. אנחנו רוצים לחשב את ההסתברות של Ā. נגדיר ĀN להיות המאורע שלכל A, > N לא מתקיים, ואז.N לכל P (Ā) P (ĀN ) ובפרט,Ā = = ĀN = ĀN ואם כן, =N+ AC = [ =N+ A ] C ( P,P (ĀN) = כי זהו זנב של טור =N+ A ) =N+ P (A ) מתכנס. לכן = (ĀN).P (Ā) lim sup N P (ב) נשתמש באותם הסימונים. נשים לב ש- ĀN+.ĀN לכן (ĀN).P (Ā) = lim N P לכן מספיק להראות שתחת ההנחות, = 0 (ĀN) P לכל N. Ā N = =N+ AC A בלתי-תלויים, לכן גם A C בלתי-תלויים. אז 40.P (ĀN ) = lim k P ( k k =N+ AC ) = lim k =N+ P (AC ) נחלק לשני מקרים: אם קיים > N כך ש- = ),P (A אז = 0 ) P (A C ולכל,k >.P (ĀN) ואז = 0 k =N+ P (AC ) = 0. k =N+ P (AC ) = e P k אחרת, הסיכויים תמיד חיוביים ונוכל לכתוב ) =N+ log P (AC נזכור ש- x log(x) לכל,x ולכן ).log(p (A C )) P (A C ) = P (A לכן k.p ( k אבל = ),lim k =N+ P (A ולכן =N+ AC ) e P k =N+ P (A) ( P lim k וזהו. =N+ AC ) = 0 36 ניתן להחליף דרישה זו בדרישה ש-( E( X קיימת, אך אז ההוכחה תהיה קשה בהרבה. 37 תוחלת זו קיימת כי הרי הנחנו ש-( E( X קיימת. 38 תזכורת החוק החלש: לכל.lim P ( S µ < ε) =,ε 39 במילים: ההסתברות לכך שקיים N כך שלכל > N המאורע A לא מתקיים היא. 40 הגדרת אי-תלות מדברת על תת-אוסף סופי, לכן עלינו להשתמש בגבול. 25
6.3 בצורה החזקה 6 חוק המספרים הגדולים למה :28 יהיו = {Y } משתנים מקריים בלתי-תלויים ושווי-התפלגות המקיימים < ) 4 E(Y.E[( ו- 0 = ).E(Y אז לכל k= Y k) 4 ] 3 2 E(Y 4 ),.E(Y 4 ) [E(Y 2 הוכחה. ראשית נשים לב ש- [( 2.( אם כן, k= Y k) 4 = i,i 2,i 3,i 4 Y i Y i2 Y i3 Y i4 E[( k= Y k) 4 ] = i,i 2,i 3,i 4 E(Y i Y i2 Y i3 Y i4 ) נחשב את ) i4.e(y i Y i2 Y i3 Y נחלק למספר מקרים:. נניח ש-{.i / {i 2, i 3, i 4 אז = 0 ) i4,e(y i Y i2 Y i3 Y i4 ) = E(Y i )E(Y i2 Y i3 Y כי Y i בלתי-תלוי ב- Y i2 Y i3 Y i4 ו- 0 = ) i.e(y דבר דומה מתקיים עבור } 4 i 2 / {i, i 3, i וכו. לכן 0 ) i4 E(Y i Y i2 Y i3 Y רק אם,E(Y i Y i2 Y i3 Y i4 ) = E(Y 4 או אם i,i = i 2 = i 3 = i 4.2 שאז ).3 הם מחולקים לשתי קבוצות בגודל,2 שאז ) 4.E(Y i Y i2 Y i3 Y i4 ) = [E(X 2 )] 2 E(Y ( 3 רביעיות מסוג.(3) לכן 2) ישנן רביעיות מסוג (2), וישנן.E[( k= Y k) 4 ] E(Y 4 )( + 3 ( ) 2 ) 3 2 E(Y 4 ) 28.2.2008 למה 29: תהי = Z} } סדרה של משתנים מקריים ו- Z משתנה מקרי. אז אם לכל ε, = (קיים N כך שלכל,P ( Z Z < ε, > N אז = (לכל ε קיים N כך שלכל.P ( Z Z < ε, > N A ε הוכחה. לכל ε יהי {קיים N כך שלכל.A ε = { Z Z < ε, > N נשים לב שאם ε < ε 2 נקבל נתון שלכל.P (A ε ) =,ε אנו רוצים להראות = ε).p ( ε>0 A מה הקושי? ידוע שבהינתן ℵ 0 מאורעות שהסתברות כל אחד מהם היא גם הסתברות חיתוכם.A ε2 היא. אך לאוסף שאינו בן מניה של מאורעות, טענה זו אינה בהכרח נכונה. ( P, שכן זהו חיתוך בן-מניה. לכל... 2, =,,k P (A ) = ולכן = ) k= A k k, לכן k= A A A k k ε לכן.A A. לכן 0 k ε 0 k 0 לכל ε קיים k 0 כך ש- ε <. k= A k ε>0 A ε.p ( ε>0 A ε) ולכן =,P ( ε>0 A ε) P ( לכן = ) k= A k (.P ממה השתמשנו בעובדה הבאה: אם = ) k P (B לכל... 2, =,,k אז = k) k= B זה נובע? אחת האקסיומות של תורת ההסתברות אומרת שאם = A} } סדרה של מאורעות.P ( = A ) = זרים בזוגות אז ) = P (A,Ā = A \ ואז נשמיט את ההנחה ש- A זרים בזוגות. במקרה זה, נגדיר =k A k P ( = A ) = P ( = Ā) = = P (Ā) Pו-{ Ā }זריםבזוגות. (Ā) P (A ). = P (A ) P ( k= B k) = P (( k= B k) C ) = P ( k= BC k ). אז= ) k k= P (BC 26
6 חוק המספרים הגדולים 6.3 בצורה החזקה דוגמה. מאורעות 0 α {B α } המקיימים = ) α P (B לכל α אבל ) α :P ( B 4 יהי X משתנה מקרי מפולג אחיד בקטע [,0] (דהיינו, לכל b a < 0 מתקיים כי.(P (a X b) = b a נגדיר α}.b α = {X אז לכל,P (B α ) =,α בעוד ש- 0 = ]) [0, (X.P ( 0 α B α) = P מסקנה: יש להיזהר באיחודים ובחיתוכים שאינם בני-מניה. 25.2.2008 נחזור להוכחת החוק החזק של המספרים הגדולים:.A = { S µ ε} נגדיר :P ( הוכחה. נראה שלכל,ε (קיים N כך שלכל S µ < ε, > N עלינו להראות ש- = (קיים N כך שלכל A, > N לא קורה) P. לכן, לפי בורל-קנטלי, מספיק להראות. נעריך את ) :P (A ש- < ) = P (A ] S µ)4 P (A ) = P ( S µ ε) = P (( S µ) 4 ε 4 ) E[( לפי אי-שוויון ε 4 מרקוב. נגדיר.Y = X µ אז = {Y } בלתי-תלויים, ו- 0 = µ E(Y ) = E(x ). לכן k= Y k = ו- < ) r.e(y 42 k= (X k µ) = ( כמו כן, k= X k µ) = S µ E[( S µ) 4 ] = E[( k= Y k) 4 ] = E[( 4 k= Y k) 4 ] 32 E(Y 4 ) 4 = 3E(Y 4 ) 2. = P (A ) < ולכן,P (A ) 3E(Y 4 ) ε לכן 4 2 28.2.2008 משפט 30 (הכיוון ההפוך של החוק החזק של המספרים הגדולים): = X} } משתנים מקריים,P ( אז i= X k Y. r לכן מתקיים = (x µ) 4 = P 4 i=0 בלתי-תלויים ושווי-התפלגות, ויהי µ R ונניח שמתקיים = µ),e(x ) = µ ובפרט ל- X יש תוחלת. 43 הוכחה. נראה שיש תוחלת. 44. למה :.30 אם ל- X אין תוחלת, אז = ) = P ( X > `4 i.e(y 4 הוכחה. תרגיל. 4 כלומר, הקושי עם חיתוך שאינו בן-מניה אמיתי. xi ( µ) 4 i = c + c 2 x + c 3 x 2 + c 4 x 3 + c 5 x 442,E(Y 4 ולכן < ) ) = c + c 2 E(X ) +... + c 5 E(X 4) למה :.29 אם < ),E( X אז לכל.E( X k ) <,k < הוכחה. יהיו = W אם, X W = 0 אחרת, = 0 V אם, X V = אחרת. אז X X = V X + W ו-. X k = V X k + W X k אם כן, E( X k ) = E(V X k ) + E(W X k ) E( X ) + < 43 לא בחומר הקורס. 44 ברגע שיש, ברור שההתכנסות היא לדבר הנכון. 27
7 פונקציות יוצרות והמאורעות } { X > בלתי-תלויים. אז מבורל-קנטלי, לכן = ) = P ( X > נובע שבסיכוי, אינסוף מהמאורעות X > קורים. מחשבון פשוט נקבל שאם X > אז. אבל אם זה קורה אינסוף פעמים, אין התכנסות. k= X k k= X k > 2 7 פונקציות יוצרות.a = (a 0, a,...) נקראת פונקציה יוצרת של סדרת מספרים G a (s) = 3.3.2007 פונקציה יוצרת הגדרה. k=0 a ks k.( נזכיר שלטור חזקות יש רדיוס r בו הוא מתכנס (כלומר, לכל 0=k a ks k < s, < r אם > 0,r ניתן לגזור את הטור איבר-איבר לכל, s < r ואז,G a(0) = a,g a (0) = a 0 (0) a :a = G() מקדמי הטור מוגדרים באופן יחיד! () G כלומר, ובאופן כללי! a (0) = a על-ידי נגזרות הפונקציה היוצרת. מסקנה :3 אם קיים > 0 r כך שלכל s < r מתקיים (s) G a (s) = G b לשתי סדרות.a = b אזי,b = (b 0, b,.. ו-(. a = (a 0, a,...) עד כה, לא בהכרח דיברנו על הסתברות. בהסתברות נתעניין במשתנה מקרי X המקבל ערכים 45.p k = P {X = k} כאשר,G X (s) = טבעיים (או 0), ונדבר על הפונקציה היוצרת 0=k p ks k רדיוס ההתכנסות r מקיים :r אם <, s כל המקדמים k p ולכן הטור חסום מלמעלה על-ידי טור גיאומטרי מתכנס. = (s) G a המקדמים אי-שליליים ושהטור משפט 32 (אבל): נניח שלטור חזקות 0=k a ks k מתכנס לכל <. s אזי { }) R.lim s G a (s) = G a ()( 46 s נציב =.G (s) = k= kp ks קיימת k s לכל <.G X (s) = נניח k=0 p ks k = (s).g X () = lim s G X כלומר, מצאנו ונקבל, לפי משפט אבל, E(X) k= kp k = נוסחה לחישוב התוחלת. = (s),g X ואם נציב = s נקבל נתבונן בנגזרת השנייה: k 2 k=2 k(k )p ks G X () = lim s G X (s) = k=2 k(k )p k = E(X(X )) = EX 2 EX = EX 2 (EX) 2 + (EX) 2 EX = Var X + (EX) 2 EX כלומר,( ) G,ולפיכך+ X () = Var X+(G X ())2 G X ())2 X Var X = G X () (G () X G מצאנו נוסחה לחישוב השונות. עם זאת, נשים לב שאנו מוגבלים לעיסוק במשתנים מקריים שמקבלים ערכים טבעיים בלבד. 45 דהיינו, בונים את הטור מסדרת ההסתברויות. 46 כלומר, G a רציפה ב-. 28
7 פונקציות יוצרות דוגמה. התפלגות בינומית שלילית: X מספר ניסויי ברנולי שנכשלו עד להצלחה מספר r: ) ( = k} P {X = (כאשר.(k r,q = p זה נקרא בינומי שלילי כי k r p r q k = r q).( אם =,r המשתנה המקרי נקרא גיאומטרי. ( k ) k= r q k נרצה לחשב את הפונקציה היוצרת עבור X משתנה מקרי בינומי שלילי, Y משתנה מקרי = r q),( ולכן k=r ( k r ) עם התפלגות גיאומטרית ) k q k r.(p {Y = k} = pq G X (s) = k=r p ks k = p r k=r ( k r = (ps) r k=r = (ps) r ( qs) r = ( ps qs )r ) q k r s k ) (qs) k r ( k r = (s).g Y אם כן,.G X (s) = (G Y (s)) r נוסחה זו איננה ps qs מכאן, אם נציב = r, מקרית, ובעזרת טענה שנוכיח מיד, ניתן להסיק מכאן ש- X הוא סכום של r משתנים מקריים בלתי-תלויים שווי-התפלגות עם התפלגות גיאומטרית (כמו Y). הגדרה. קונבולוציה (covolutio) של שתי סדרות.).., b = (b 0, b,...),a = (a 0, a היא קונבולוציה.c = סדרה.).., a b = c = (c 0, c המוגדרת על-ידי i= a ib i G c (s) = =0 c s = = =0 ( =0 הפונקציה היוצרת של c: i=0 a ib i )s i+( i) i=0 a is i b i s i = i= =i a is i b i s i = i=0 a is i k=0 b ks k = G a (s) G b (s) (בשלב האחרון, (.k = i כלומר, אם c = a b אז (s).g c (s) = G a (s) G b נניח ש- X ו- Y משתנים מקריים בלתי-תלויים המקבלים ערכים טבעיים כך שמתקיים :Z = X + Y נסתכל על 47.P {Y = k} = q k ו- P {X = k} = p k r = P {Z = } = P {X + Y = } = k=0 P {X = k, Y = k} = k=0 P {X = k}p {Y = k} = k=0 p kq k כלומר,,r = p q ולכן (s).g X+Y (s) = G Z (s) = G X (s) G Y כלומר, אם X ו- Y בלתי-תלויים, הפונקציה היוצרת של הסכום X + Y היא מכפלת הפונקציות היוצרות של X ו- Y. מכאן, באינדוקציה, אם X,..., X משתנים מקריים בלתי-תלויים המקבלים ערכים.G X+...+X (s) = i= G X i טבעיים, אז (s) נזחור למה שעשינו קודם: יהיו X,..., X r משתנים מקריים בלתי-תלויים עם התפלגות.G X+...+X לכן X +... + X r הוא משתנה מקרי בינומי (s) = ( ps גיאומטרית. אז qs r( שלילי. כלומר, למשתנה מקרי X = X +... + X יש אותה פונקציית התפלגות (או אותה 47 כאן אין קשר בין p ל- q. 29
7. תהליכי הסתעפות 7 פונקציות יוצרות פונקצית משקל) של סכום של r משתנים מקריים בלתי-תלויים שווי התפלגות עם התפלגות גיאומטרית. נניח..., 2 X, X משתנים מקריים בלתי-תלויים שווי-התפלגות המקבלים ערכים טבעיים עם פונקציה יוצרת G, X ויהי N משתנה מקרי אחר בלתי-תלוי בכל X i המקבל ערכים טבעיים עם פונקציה יוצרת.G N נגדיר S = X + X 2 +... + X N (אם = 0,N.(S = 0 כלומר, לכל.S(ω) = X (ω) + X 2 (ω) +... + X N(ω) (ω),ω Ω טענה :33 (t)).g S (t) = G N (G X G S (t) = =0 t P {S = } = =0 t P {X +... + X N = } = =0 t k=0 P {X +... + X k = N = k}p {N = k} אבל N בלתי-תלוי ב-,X i ובאופן כללי אם A ו- B בלתי-תלויים אז (A).P (A B) = P אז = =0 t k=0 P {X +... + X k = }P {N = k} = k=0 P {N = k} =0 t P {X +... + X k = } (מותר להחליף את הסכימה כי כל הטורים מתכנסים.) = k=0 P {N = k}g X +...+X (t) = k=0 P {N = k}(g X(t)) k = G N (G X (t)) הוכחה..G N (u) = שהרי k=0 P {N = k}uk 7. תהליכי הסתעפות יש אוכלוסייה בדור שמספרה Z ובדור + כל אב (אם) מספר i מוליד X i בנים (בנות) כך 6.3.2008 ש- X,..., X Z משתנים מקריים בלתי-תלויים שווי-התפלגות עם פונקציה יוצרת.G Z 0 בזמן 0 Z = X +... + X Z0 Z 2 = X +... + X Z כל ה- X -ים הם בלתי-תלויים ויש להם אותה התפלגות עם פונקציה יוצרת G. G N (s) = i=0 p is i = λi i=0 e λ i! si = e λ (λs) i i=0 i! = e λ e λs = e λ(s ) λp(u ) S G S (u) = G N (G X (u)) = e λ( p+pu ) = e הוא משתנה מקרי פואסון עם פרמטר.pλ טענה :34 נניח = 0 -פעמים. G Z (s) = G(G(... (G(s))...)).Z הוכחה. באינדוקציה. = :.G Z (s) = G(s) נניח שזה נכון לכל =,..., k ונוכיח ל- + k. = {X i },Z k+ = X +... + X Zk לפי הנוסחה (שכן G Zk+ (s) = G Zk (G(s)) בלתי-תלויים ושווי-התפלגות עם G כפונקציה יוצרת). לפי הנחת האינדוקציה, = (u) G Zk 30
7 פונקציות יוצרות 7.2 חזרות של מהלך אקראי פשוט.)).. (G(u)) k G(G(... פעמים, אז.)).. (G(s)),G Zk +(s) = G(G(... כנדרש.,µ עבור σ 2 def = Var Z = σ 2 µ µ µ,µ def טענה = EZ = µ,µ = EX :35.(σ 2 = Var X ) µ עבור = = σ 2 הוכחה..lim s G (s) = (G ()) = EZ 48 :s נעבור לגבול.G (s) = G (G(s))G (s) נגזור ונקבל 49 ;G (s) = G (G(s)).EZ = EZ µ = G(s),lim s אז.lim s G (G(s)) = lim u G (u) = EZ לכן.EZ = µ הוכחנו ())2 Y.Var Y = G Y () + G Y () (G 0.3.2008 [חסר בינתיים] 7.2 חזרות של מהלך אקראי פשוט X k = משתנים מקריים בלתי-תלויים שווי-התפלגות, {X k } כאשר S = k= X k,s 0 = 0 3.3.2008 בהסתברות X k = p, אחרת. אנו מעוניינים לתאר את חזרת S ל- 0. נגדיר 0} =.p 0 () = P {S מתקיים = (0) 0.p נגדיר גם 0} =.f 0 () = P {S 0, S 2 0,..., S 0, S גם כאן = 0 (0) 0.f אלה בעצם ההסתברויות של סדרות המאורעות הנתונות על-ידי {0 = A = S} ו-= B k.{s 0,..., S k 0, S = 0} היא ההסתברות לכך שזמן החזרה T 0 לאפס הוא סופי. = P (B ) = = f 0() (.P אם = ),P ( B המהלך מכיוון שהמאורעות B זרים, הסתברות זו שווה ל-( = B נקרא חוזר; אחרת, המהלך איננו חוזר. 50.0 s עבור < F (s) = = s f 0 ו-( ) P (s) = נגדיר () =0 s p 0 משפט :36 (א) (s) 5 ;P (s) = + P (s)f (ב) 2 ) 2 ;P (s) = ( 4pqs (ג) = (s) F. ( 4pqs 2 ) 2 A. = זהו איחוד זר, לכן מנוסחת ההסתברות השלמה נקבל הוכחה. ) k= (B k A.p 0 () = k= P (A B k )f 0 (k) לכן.P (A ) = k= P (A B k )P (B k ) A מתקיים בתנאי ש- B k התקיים אם ורק אם = 0,X k+ +... + X לכן מתקיים k).p {X k+ +... + X = 0} = P {S k = 0} = p 0 ( מכאן נקבל את הנוסחה.p 0 () = לכן k= p 0( k)f 0 (k) 48 למעשה, לא תמיד ניתן לדבר על () G ממש, שכן הפונקציה לא בהכרח מוגדרת מעבר ל- ; כל הנגזרות הן גבולות.G () () = lim s G () (s),g Y () = ;s ופונקציה זו עולה כאשר s עבור 0 G Y (s) P 49 מותר לדבר על הרכבה שכזו, שכן 0=i p is i אז < (s) G Y ב- < s.0 50 ב- = s, הטורים אולי מתבדרים. 5 יותר כללי מלמהלך הזה, אבל לא נרחיב למה. 3
8 שרשראות מרקוב P (s) = = k= p 0( k)s k f 0 (k)s k = k= =k f 0(k)s k p 0 ( k)s k = ( k= f 0(k)s k )( m=0 p 0(m)s m ) = F (s)p (s) (ב) רוצים לחשב 0} =.p 0 () = P {S אם = 0 S,אז חייב להיות זוגי: = 0 () p 0 לכל.p 0 (2l) = ( ) 2l ) ( אפשרויות ללכת l פעמים ימינה ושמאלה. l (pq) l 2l l יש ; = 2l אי-זוגי. ניקח P (s) = ( 2l ) l=0 l (pq) l s 2l ( 2l ) l = (2l)! (l!) = 2l l!( 3... (2l )) 2 (l!) = 2l ( 3... (2l )) 2 l! תרגיל מבית-ספר: = l=0 2x) 2 ( (בדוק!). 4 pq תמיד, וטור טיילור 3... (2l ) l! אז נוכל לכתוב ) l (2pqs 2 ) = 3... (2l ) l=0 l! תרגיל מאינפי: x l הזה ודאי מתכנס בתחום הזה. לכן נוכל להציב x = 2pqs 2 ולקבל 2 ) 2 ( 4pqs.=.F (s) = P (s) P (s) = (ג) ) 2 4pqs2 P (s) = ( כעת, נחשב: = () F היא = f 0().F () = lim s ( ( 4pqs 2 ) 2 ) = ( 4pq) 2 הסתברות החזרה, כלומר ההסתברות לכך שהמהלך חוזר בזמן סופי. נבדוק מתי היא : ( 4pq) 2 = ( 4p( p)) 2 = ( 4p + 4p 2 ) 2 = (( 2p) 2 ) 2 = ((q p) 2 ) 2 = q p.f () אחרת <,p = q = 2 אם כן, = p F () = q אם 8 שרשראות מרקוב שרשרת מרקוב הגדרה. סדרה של משתנים מקריים..., 2 X, X מגדירה שרשרת מרקוב אם 7.3.2008 P (X i+ = a X, X 2,..., X i ) = P (X i+ = a X i ) כלומר, השרשרת "זוכרת" רק את המשתנה המקרי הקודם. דוגמה. סדרה של משתנים בלתי-תלויים היא דוגמה לשרשרת מרקוב. 8. מטריצות מרקוב מטריצת מרקוב הגדרה. נתונה קבוצה של s מצבים {s,...,2,}. מטריצת מרקוב היא מטריצה P הנתונה s ; הסתברויות המעבר P ij מייצגות את על-ידי 0 ij,p כאשר i, j s ו- = ij j= P ההסתברות לעבור ממצב i למצב j. 52 דוגמה. = 3 s. בכל תא מופיעה ההסתברות שנעבור מהמצב המתואר בשורה למצב המתואר בעמודה: 52 לכל i, סכום ה- P ij הוא, לכן הם מגדירים התפלגות. 32
8 שרשראות מרקוב 8.2 התנהגות לאורך זמן גשום 3 מעונן 4 נאה 6 נאה מעונן גשום 3 2 6 3 4 2 3 הסכום בכל שורה הוא. סדרה X, X 2, X 3 מתאימה למטריצה P ij אם מתקיים P (X 2 = j X = i) = P ij.q i ו- 0 s ו-.P (X 3 = j X = k, X 2 = i) = P ij נניח i) q i = P (X = כש- = i i= q ניתן לומר מה ההתפלגות המלאה של המשתנים ומהו מרחב המדגם: {s 3 Ω, =,},2..., ולכל,(i,..., i ) Ω,{, ועבור 2,..., s}.p (X = i, X 2 = j, X 3 = k) = q i p ij p jk,(i, j, k) Ω עבור משתנים, מרחב המדגם יהיה = Ω.P (X = i, X 2 = i 2,..., X = i ) = q i p ii 2... i i כעת, נרצה לחשב מה ההסתברות i) P (X 3 = k X = (מאורע k קורה היום אם קרה מאורע i שלשום): P (X 3 = k X = i) = j P (X 3 = k X = i, X 2 = j)p (X 2 = j, X = i) P (X 3=k,X =i) P (X =i) = P (X 3=k,X 2=j,X =i j P (X =i) = j q ip ijp jk q i = j P ijp jk זהו האיבר ה- ik במכפלת המטריצה P עם עצמה. כלומר,.P (X 3 = j X = i) = (P 2 ) ij נכליל: למה :37 בשרשרת מרקוב } t {X עם הסת מעבר.P (X t = j X = i) = (P t ) ij,p ij דוגמה (הילוך מקרי). מרחב המצבים הוא 00},... 2, {0,, =.S מכל נקודה הולכים 2 ושמאלה בהסתברות, 2 ואם נמצאים בקצה, חוזרים פנימה בהסתברות ימינה בהסתברות.P 0, = P 00,99 =,P i,i+ = P i,i = 2 : כלומר, 8.2 התנהגות לאורך זמן עבור t גדול, מה נוכל לומר על, למשל, 0) =?P (X t = i X הגדרה. עבור מטריצת מרקוב P ij אומרים שניתן לעבור ממצב i 0 למצב j 0 אם קיימת סדרת.P ik j 0 כלומר, > 0,P ik i k > 0,...,P ii 2 > 0,P i0i מצבים i,..., i k כך ש- 0 > בשרשרת מרקוב..., 2 X, X לפי מטריצה זו מתקיים > 0 i) P (X k+2 = j X = או, לפי הלמה, ש- 0 > ij.(p k+ ) הגדרה. מטריצת מקרוב נקראת ארגודית 53 אם ניתן לעבור מכל מצב לכל מצב. ארגודיות 53 לעתים קוראים למטריצה כזו אי-פריקה. 33
8.2 התנהגות לאורך זמן 8 שרשראות מרקוב אם חושבים על קבוצת המצבים {s S =,}..., כקדקודי גרף מכוון ומסמנים קשת מ- i ל- j רק אם > 0 ij P, ניתן לומר שהמטריצה ארגודית אם"ם הגרף המכוון קשיר-חזק. דוגמה. בדוגמת ההילוך המקרי מקודם, יש קשירות חזקה: מכל נקודה אפשר להגיע לכל נקודה. רגולריות הגדרה. מטריצת מרקוב P היא רגולרית אם קיים k כך ש- 0 > ij (P k ) לכל i, j s. 54 ( 0 0 2 0 2 0 0 מתקיים: ) ( איננו ) המקרי, תנאי זה ) דוגמה. בדוגמת ההילוך 0 0 2 0 2 = 0 0 ( 2 0 2 0 0 2 0 2 וכן הלאה. משפט :38 עבור מטריצה רגולרית P ij מתקיים lim (P ) ij = π j לכל i s, כאשר s. בניסוח הסתברותי: עבור שרשרת מרקוב i= π ip ij = π j הוא וקטור הסתברויות המקיים π j רגולרית,.lim P (X = j X = i) = π j התפלגות סטציונרית ההתפלגות π נקראת ההתפלגות הסטציונרית עבור P. נסמן ב- את וקטור העמודה המורכב מאחדות. אם 0 P מרטיצת מרקוב, אזי = P. לכן הוא וקטור עצמי עם ערך עצמי. מכאן, קיים גם וקטור שורה עצמי π המקיים.πP = π = 00.π 0 = π (נשים = i π לכל < 00 i ו- 200 00 דוגמה. בדוגמת ההילוך המקרי, לב שקיום π כזה לא תלוי בהיות המטריצה רגולרית.) ניגש להוכחת המשפט: הוכחה. נתחיל במקרה הפרטי בו > 0 ij P לכל i, j s. נסמן.c = mi 0 i,j s P ij נסתכל על פעולת P על וקטורי עמודות u,..., u s 0 ונראה שלכל וקטור,lim P u = λ,u כאשר λ תלוי ב- u. נסמן T (u) = u max u mi (הקואורדינטה המקסימלית והמינימלית ב- u ) ונחשב את u) :T (P (P u) i = j P ij u j c u mi + ( c)u max מכאן, (P u) max c u mi + ( c)u max וגם,(P u) mi c u max + ( c)u mi T (P u) = (P u) max (P u) mi ( 2c)u mi + ( 2c)u max = ( 2c)T (u) באינדוקציה, (u).t (P u) = ( 2c) T אם המטריצה גדולה מ- 2,2 < 2c, לכן.lim P u = בקצב מעריכי, ולכן λ T (P u) 0 ולכן ) P) P היא הכפלת P ב- s וקטורי עמודה שכל אחד מהם ייתן וקטור עמודה קבוע, לכן נקבל שורות זהות. נסמן שורה זו ב- π. סכום השורות של P הוא תמיד, לכן גם הגבול מקיים. = s זאת: i= π i 54 יש לשים לב שאין מדובר ברגולריות במובן שמוגדר באלגברה לינארית. 34
8 שרשראות מרקוב 8.2 התנהגות לאורך זמן.π = πp ולכן,lim P + = lim P.(lim P )(P ) = π. π (P ) = πp. πp במקרה הכללי, נעזרים במקרה הראשון עבור 55 P k כדי לראות שקיים c עבורו מתקבל.T (P k u) = ( 2c) T (u) נניח ש- P מטריצת מרקוב ארגודית. כדי לבדוק אם היא רגולרית, מסתכלים בגרף המכוון שתיארנו על מסלולים סגורים פשוטים. מסמנים ב- d את המחלק המשותף המקסימלי של ארכי כל המסלולים הללו. P רגולרית אם"ם = d. 56 נוכיח מקרה פרטי: 20.3.2008 טענה 39: אם קיימים שני מסלולים סגורים פשוטים בגרף המכוון שמוגדר על-ידי P עם ארכים l ו- l 2 המקיימים ) 2 (l, l = ואפשר לעבור מכל מצב לכל מצב, אזי המטריצה P רגולרית. הוכחה. P) k ) ij < 0 לכל i ו- j, אז לכל i ו- j יש מסלול בגרף מ- i ל- j באורך k. למה :.39 אם ) 2 (l, l =, כל מספר הגדול מ- l ומ- l 2 ניתן לכתיבה כסכום al + bl 2 עבור.a, b 0 הוכחה. בלי הגבלת הכלליות, l. < l 2 כאשר עוברים על כל הכפולות של l מקבלים את כל השאריות מודולו l; 2 ניתן להשתמש בהן ולקבל כל מספר מספיק גדול כנדרש. קיים N כך שבין כל i ו- j יש מסלול באורך קטן מ- או שווה ל- N, כי מספר הזוגות סופי ואפשר למצוא מסלול מכל i לכל.j נגדיר :k = 0N + l l 2 ניתן למצוא 0 a ו- 0 b שיפתרו את המשוואה,m (i) + al + m + bl 2 + m 2 (j) = k ולכן לכל i ו- j יש מסלול באורך k המחבר את i ל- j : כלומר, > 0 ij.(p k ) דוגמה (ערבוב חפיסת קלפים). סידור הקלפים, 52... 2,, הוא תמורה :ρ S 52 בוחרים מקום בין ל- 52 ; מוציאים את הקלף העליון ומחזירים אותו למקומו החדש; מבצעים מכפלה בחבורת התמורות כאשר בוחרים באקראי אחת מ- 52 התמורות הללו. יש מסלול שמביא לחילוף (i ) לכל 52 i 2, וחילופים אלה יוצרים את כל התמורות. יש מסלול מהתמורה s)... 2 על-ידי פעולה זו היא רגולרית. ) לכל תמורה, ולכן מטריצת מרקוב המוגדרת מכל ρ יוצאות 5 קשתות ולכל תמורה מגיעות 5 קשתות, אז בשרשרת מרקוב יש בכל לכל 52! עמודה מספר קבוע של איברים השונים מ- 0. מכאן, π עבור מטריצה זו נותן משקל אחת מהתמורות. מסקנה: אם חוזרים על פעולת הערבוב פעמים ל- גדול מספיק, סידור הקלפים יהיה בקירוב אחיד על כל!52 הסידורים האפשריים. (כדי לחשב את טיב הקירוב, כלומר מתי 5!52, נוכל להיעזר בנוסחת סטירלינג.).P קיים כזה, מרגולריות P k > כך ש- 0 k 55 56 כלומר, מספיק למצוא קבוצה קטנה של מסלולים שמביאה למחלק משותף מקסימלי. 35